Coping with Static and Dynamic Spatial Relations

The interplay between visual perception and natural language in humanmachine-interaction receives growing attention since it constitutes a prominent issue in many potential application areas. The aim of language-oriented AI research in this context is to achieve an operational form of referential semantics that reaches down to the sensoric level. In this contribution, we will focus on the evaluation of spatial relations which form the basis for spatial reference expressions in natural language. The algorithmic characterization of static as well as dynamic spatial relations between objects in a time-varying scene will be considered. The paper will present new results from the project VITRA (Visual Translator), where a natural language access to visual data has been investigated in di erent domains of application. R esum e La connexion entre la perception visuelle et le langage dans la communication homme-machine est de plus en plus d'actualit e parce que constituant un probleme majeur dans plusieurs domaines d'application. Dans ce contexte, le but de la recherche sur le traitement automatique du langage naturel est d'obtenir une forme op erationnelle de la s emantique r eferentielle, allant jusqu'au niveau sensoriel. Dans cette contribution, nous analysons l' evaluation des relations spatiales qui forment la base pour les expressions de r ef erence spatiale dans le langage naturel. Ensuite, nous consid erons la caract erisation algorithmique des relations spatiales statiques et dynamiques entre les objets dans une s equence d'images. Nous pr esentons ces nouveaux r esultats dans le contexte du projet VITRA (Visual Translator), dans lequel le probl eme de l'acc es en langage naturel a des donn ees visuelles a et e etudi e dans di erents domaines d'application. In: Proc. of the 5th Int. Workshop Time, Space and Movement, TSM'95